ROCm dan HIP: Tutorial Lengkap 10 Bab: Perubahan Pola Pikir Sinkronisasi GPU

Transisi dasar dalam komputasi berkinerja tinggi melibatkan perpindahan dari model eksekusi serial berbasis CPU ke model produsen-konsumen terpisah di mana CPU mengelola pipa sedangkan GPU beroperasi secara mandiri. Realisasi utama adalah bahwa GPU tidak dimaksudkan untuk dikendalikan sebagai perangkat sinkron yang ketat; menanganinya demikian menciptakan bottleneck "berhenti-dan-menunggu".

1. Siklus Kehidupan Kerja

Dalam pola pikir asinkron, pengembang tidak menunggu setiap tugas selesai. Sebaliknya, mereka mengalokasikan memori, meluncurkan kernel, dan menyalin kembali hasil dengan menempatkan permintaan non-blokir ke dalam antrian perangkat keras.

2. Mengatasi Hambatan

Ketika host dipaksa untuk mensinkronkan setelah setiap operasi, jeda eksekusi—waktu tempuh antara CPU dan GPU—mendominasi kinerja. Dengan memanfaatkan Asinkronisme, CPU terus berkerja sementara GPU memproses aliran-nya, memaksimalkan saturasi perangkat keras.

$$\text{Waktu Total} = \max(\text{Kerja CPU}, \text{Kerja GPU}) + \text{Overhead Sinkronisasi}$$

TERMINALbash — 80x24

> Ready. Click "Run" to execute.

QUESTION 1

Which set of steps correctly converts a synchronous vector-add to use an explicit stream?

Call hipStreamCreate, use hipMemcpyAsync with the handle, and pass the handle as the 4th kernel argument.

Call hipDeviceSynchronize after every kernel launch and use hipMemcpy.

Set the stream parameter to NULL in all hipMemcpyAsync calls.

Replace hipMalloc with hipHostMalloc exclusively.

QUESTION 2

Why is a GPU considered 'not meant to be driven as a strictly synchronous device'?

Because it has no internal clock.

Because waiting for the CPU to confirm every command leaves thousands of cores idle.

Because memory transfers cannot be tracked by the CPU.

Because the GPU must manage its own power state.

QUESTION 3

What is the primary risk of forcing the host to synchronize after every operation?

Memory corruption.

Host-side stalling and loss of hardware saturation.

Increased power consumption on the GPU.

Kernel compile errors.

QUESTION 4

In the logistics warehouse analogy, what does the 'Conveyor Belt' represent?

A HIP Stream.

The GPU Driver.

The CPU Cache.

The VRAM buffer.

QUESTION 5

True or False: hipMemcpyAsync returns control to the CPU before the data transfer is complete.

True

False